python3 benchmark_serving.py \
--save-result --result-dir=./qwq-32b --result-filename="qwq-32b.json" \
--model=/mnt/share/1/Qwen/QwQ-32B --served-model-name qwq32 \
--dataset_name=sharegpt --dataset_path=/home/jinbao.liu/code/corex_knife/eval/dataset/ShareGPT_V3_unfiltered_cleaned_split.json \
--request-rate=0.3 --backend=vllm \
--num_prompts=200 --seed=1337 